Are We Really Making Progress in Group Recommendation? Unmasking the Tie-Breaking Illusion
群组推荐真的在进步吗？揭开 Tie-Breaking 幻觉
🧭 群组推荐评测偏差与 tie-aware 协议
National Taiwan University
揭示近期群组推荐提升源于 sigmoid 分数压缩与确定性 tie-breaking 的评测偏差，提出 tie-aware 评估使提升大幅缩水
📌 工作参考价值（4 点）
- 在推荐系统离线评测中，若模型输出层含 sigmoid 或分数被压缩到 [0,1]，top-K 指标容易产生大量并列分数，而常规 argsort/top-k 的 tie-breaking 顺序会影响 HR@K/NDCG@K，导致虚高或排名不稳。务必使用 tie-aware 评估（如多次随机打乱 tie 求期望）或报告置信区间。
- 对于 BPR 类训练，如果为了提高收敛稳定而加 sigmoid，建议改用 temperature-scaled BPR（例如 sigmoid(logits/tau) 或 margin 调整），既保留 margin smoothing 的收益，又降低 tie 膨胀风险。
- 若业务场景是群组推荐或多目标融合打分，分数落点接近时可主动加微小随机扰动或定义次级排序规则，避免隐式 tie-breaking 影响线上评估和 AB 指标。
- 离线指标波动大时，检查是否由于 tie 造成，尤其在对比新模型和 baseline 时，需要使用相同的 tie 处理策略，否则可能得出误导性结论。